auto merge of #107 : alexcrichton/cargo/issue-102, r=wycats

Closes #102

Don't call generic methods on trait objects

Closes #102

auto merge of #100 : rust-lang/cargo/meta-packages, r=alexcrichton

This allows a single git repository to have multiple packages contained inside.

* Cargo will look for `Cargo.toml`s located anywhere inside the project.
* Cargo will stop searching once it reaches a submodule, to avoid accidentally exporting someone else's packages. It is still possible to explicitly depend on packages from a submodule using the `path=` syntax on dependencies.

Improvements based on the review

auto merge of #101 : alexcrichton/cargo/fix-git-1.7, r=wycats

Apparently these versions of git are broken for `git fetch $url`, so we have to
resort to `git fetch origin` and then just pray that it hasn't changed in the
meantime.

Fix fetch() on git < 1.7.3

Apparently these versions of git are broken for `git fetch $url`, so we have to
resort to `git fetch origin` and then just pray that it hasn't changed in the
meantime.

Meta-packages

auto merge of #92 : alexcrichton/cargo/dash-j, r=wycats

This commit implements the -j flag in the `cargo_rustc` module, using the
primitives from the other commits. The default parllelism is `os::num_cpus()`.

This change also brings proper freshness propagation instead of the hokey logic
of once something is compiled, "compile everything to the right as well".

Implement parallel compilation

This commit implements the -j flag in the `cargo_rustc` module, using the
primitives from the previous commits. The default parllelism is `os::num_cpus()`

This change also brings proper freshness propagation instead of the hokey logic
of once something is compiled, "compile everything to the right as well".

Add a dependency queue abstraction

This data structure is used to track when packages should be built and when they
become buildable. Additionally, it is used to propagate dirtiness throughout the
dependency graph.

Add a task-pool abstraction

The standard library also provides a task pool, but it's scheduling is not quite
the desired semantics. This task pool instead has all workers contend on a
shared queue to take work from rather than assigning new jobs to specific
workers for forever.

Make CargoError inherit from Send

Due to a bug in the compiler, this also requires adding `+ Send` any time that
CargoError is mentioned. This change will allow errors to be sent across tasks.

Accept -j as a command-line parameter

This parameter will be used to control the number of concurrent builds that
cargo has executing.

auto merge of #86 : alexcrichton/cargo/issue-77, r=wycats

Instead, keep a table of what we've visited and halt recursion whenever we
re-visit a package.

Don't infinitely recurse on cyclic path deps

Instead, keep a table of what we've visited and halt recursion whenever we
re-visit a package.

Closes #77

auto merge of #87 : alexcrichton/cargo/toml-warnings, r=wycats

Closes #27

auto merge of #83 : huonw/cargo/manifest-search, r=alexcrichton,alexcrichton

Check for the existence of Cargo.toml when reading packages.

Fixes #82.

Generalise `find_project` to not always search parents.

Also, add a helper around `find_project` that returns `dir/file` rather
than just `dir`.

auto merge of #90 : brson/cargo/fix, r=alexcrichton

This reverts commit 09e52c88d8bf729570e642af4e51c3985672b501, reversing
changes made to bc31d2a23b9ac6b06042e89c9e6ed98474859bf5.

Revert "Merge pull request #89 from rust-lang/revert-88-fix"

This reverts commit 09e52c88d8bf729570e642af4e51c3985672b501, reversing
changes made to bc31d2a23b9ac6b06042e89c9e6ed98474859bf5.

Merge pull request #89 from rust-lang/revert-88-fix

Revert "Basic URL canonicalization. Fixes #84"

Revert "Basic URL canonicalization. Fixes #84"

Merge pull request #88 from brson/fix

Basic URL canonicalization. Fixes #84

Future proof URL canonicalization tests

Add tests for URL canonicalization and canonicalize .git extensions

Add a hack to make github urls case-insensitive. Fixes #84

Account for trailing / in URLs when determining on-disk location. Fixes #84.

No tests because there's no preexisting network tests.

Warn about unused TOML keys

Closes #27

auto merge of #75 : samebchase/cargo/add-help-for-test, r=alexcrichton

auto merge of #81 : alexcrichton/cargo/fix-windows, r=wycats

Use a custom rm_rf to paper over windows git funkiness

auto merge of #78 : huonw/cargo/minor-de-.unwrapping, r=alexcrichton

I don't think any of the `.unwrap`s I touched can actually be hit since they all seem to have checks earlier, but reducing the number of calls is always nice and makes the code easier to verify.

I'm not sure if the `,` -> `:` commit is actually correct, I was just working from the surrounding context.

Remove/refactor some .unwraps.

Many of these had some precondition being changed that guaranteed they'd
never happen, but could be expressed to just avoid the `.unwrap`
entirely (easier to check).

Other `Option` unwraps were changed to have a mildly more informative
error message by using `.expect`.

s/,/:/ in what appears to be JSON.

Remove superfluous newline

Add command line help text for new subcommand 'cargo test'

auto merge of #72 : Arcterus/cargo/master, r=alexcrichton

Now Cargo should give a normal error message rather than a task failure when encountering an SSH URL as a dependency.

Error out on ssh dependencies (fixes #55)

auto merge of #70 : alexcrichton/cargo/buildbot, r=wycats

* The installation script was modified to recognize when its running on windows,
  as well as tweaking how it downloads and installs snapshots. The goal here was
  to make the script runnable on buildbot for mac/linux/windows with 32/64 bit
  options on mac/linux.

* The installation script now install rustc to `rustc/bin` in the local
  directory to have parallel builds on buildbot.

* The tests now store all their temporary state locally in the build directory
  to enable parallel builds on buildbot.

* A shell test is ignored which assumed the presence of a TTY output.

Prepare for buildbot automation

* The installation script was modified to recognize when its running on windows,
  as well as tweaking how it downloads and installs snapshots. The goal here was
  to make the script runnable on buildbot for mac/linux/windows with 32/64 bit
  options on mac/linux.

* The installation script now install rustc to `rustc/bin` in the local
  directory to have parallel builds on buildbot.

* The tests now store all their temporary state locally in the build directory
  to enable parallel builds on buildbot.

* A shell test is ignored which assumed the presence of a TTY output.

Fix temporary error message to be clearer

100 chars

Add cargo test

Merge pull request #64 from alexcrichton/no-recompile-nested-deps

Don't recompile nested deps too frequently

Don't recompile nested deps too frequently

When compiling a package with a nested dependency, any modification to the outer
package would trigger a recompilation of the inner package. This commit alters
the fingerprint() method to take a PackageId to query about the location of a
package and only lookup the files relevant to that package.

The dependency structure of a PathSource is now everything rooted at the
original Cargo.toml minus all subdirectories which contain a Cargo.toml

Merge pull request #56 from alexcrichton/fix-windows-tests

Fix all tests on windows

Ignore \r in output matching

Windows occasionally has \r\n while everywhere else has \n. Instead of worrying
about the difference, just replace all instances of \r with nothing and rely on
matching against \n.

Fix lots of windows tests

* Add a convenience method bin() for generating the name of a binary. On windows
  this remembers to append `.exe`.

* Stop executing relative paths to binaries and relying on PATH. This is
  suffering from rust-lang/rust#15149 and failing to spawn processes on windows.
  Additionally, this allows the tests to work with a pre-installed cargo becuase
  the freshly built executables are precisely specified.

* A new function, escape_path(), was added for tests. When generated source
  files with paths, this function needs to be called to properly escape the
  \-character that appears in windows path names. Without this function we would
  be generating invalid TOML and rust.

Switch the process builder to starting from ToCStr

This is the same as the libstd Command builder, and will soon be used in the
tests for spawning processes on windows.

Fix rm_rf on windows

Apparently git checkouts have objects in the database with permissions 444 which
need to be changed to something with a write permission before removal.

Disable terminal tests on windows

The windows terminal does not use terminfo and is much different, so these tests
will fail on windows or actually write to the console.

Move from all-URL to Path/URL enum

On windows a path cannot be represented as a file:// URL because of the
backslashes and colons in the file name. This causes all of the tests which rely
on git to fail on windows. This commit changes the representation of the
location of a package to be an enum, Location, with two variants: Remote and
Local.

When parsing Cargo.toml, all locations which begin with the string "file:" have
that prefix stripped and are then interpreted as Local packages. Everything else
is parsed as a URL and used as a Remote package.

Fix the toml-rs build location

Use correct path separator on windows

Merge pull request #63 from dtrebbien/patch-update-toml-rs

Update libs/toml-rs

Update libs/toml-rs

Include alexcrichton/toml-rs@66c8348

Merge pull request #59 from mcpherrinm/nobloat

Delete tests binary, which doesn't belong

Merge pull request #53 from huonw/version-error

Handle misformatted versions with a nicer error message.

Handle misformatted versions with a nicer error message.

Rename make distclean -> clean-all

Add support for branch/tag/rev options

Update README.md

Merge pull request #49 from o11c/install-paths

Correct installation to follow standards

Merge pull request #48 from gilles-leblanc/issue40

Adds .vagrant files to .gitignore

Removes vagrant files from project

Fixes #40

Merge pull request #50 from alexcrichton/license

Add the standard Rust Apache/MIT license

Add the standard Rust Apache/MIT license

This copies the same Apache and MIT license files from the rust-lang/rust
repository to the cargo repository. It notable retains the same copyright line
as the rust repository:

    Copyright (c) 2014 The Rust Project Developers

The COPYRIGHT file from the rust repository was not copied over as it looked
like it mainly contained information about third party dependencies, which cargo
does not have yet.

The wording at the end of the rust repository's README.md was also copied over
to cargo's README.md with tweaks to not mention COPYRIGHT and third-party BSD
licenses.

Closes #34

Correct installation to follow standards

Clarify `make install` exists as a target

Closes #39

Update README.md

Merge pull request #31 from alexcrichton/hotfix-windows2

Work around \-characters on Windows for now

Work around \-characters on Windows for now

Rename cargo-compile to cargo-build

Only force update git if -u is passed

This will become moot once we have a lockfile, because we'll be able to
check whether the last rev we used is still available and skip fetching.

Allow absent git version

GitSource delegates to PathSource for path ops

Fix the README

Support [package] or [project]

The plan is to free up [project] for simpler config plus output flags
like -O that don't make sense in packages.

Merge pull request #29 from cmr/make-install

Makefile: support install, makes packaging easier

Specify the SourceId that the path source represents

Makefile: support install, makes packaging easier

Merge pull request #28 from alexcrichton/new-toml

Move from rust-toml to toml-rs

Move from rust-toml to toml-rs

This commit should greatly improve all error messages related to decoding
Cargo.toml.

Fix long lines

Fix a red test

Simplify flags

Improve error messages

More shell refactoring

Thread the shell through more of the system

Terminal colors

Adds initial usage support

Improve error messages

Make try! an extended version of std::try!

The only caveat to this is that you cannot use try! inside of a function
that return a Result to another function that expects a totally generic
error.

The primary case of this is Encodable/Decodable, which call into
user-specified methods, expecting an `E` back. In these (extremely
unusual) cases, you can use raw_try!.

Of note:

* Once Error lands in core (optimistic much?), Encodable/Decodable can
  be changed to expect an E: Error + FromError<E>.
* This works fine with concrete error types, since FromError maps things
  like IoError to IoError. The only reason it doesn't work with totally
  generic E is that we can't implement FromError<Box<Error>> for
  impl Error and FromError<E> for E.

Handle some errors better

Also, use cargo_try in more places

Merge pull request #25 from alexcrichton/fingerprints

Don't rebuild dependencies if they haven't changed

Don't rebuild dependencies if they haven't changed

This commit adds support for recognizing "fingerprints" of upstream
dependencies. When a dependency's fingerprint change, it must be rebuilt.
Currently the fingerprint unconditionally includes the version of the compiler
you're using as well as a specialized version depending on the type of source
you're compiling from:

  - git sources return their fingerprint as the current SHA. This will
    disregard any local changes.
  - path sources return their fingerprint as the maximum mtime of any file found
    at the location. This is a little too coarse and may rebuild packages too
    often (due to sub-packages), but this should get the job done for now.

When executing `cargo compile`, dependencies are not rebuilt if their
fingerprint remained constant.

Merge pull request #23 from alexcrichton/crate-types

Invoke rustc only once for multiple crate types

Invoke rustc only once for multiple crate types

Merge pull request #24 from alexcrichton/style

Update to rust style guidelines